Cụ nội của Bá Nhan là Thuật Luật Ca Đồ, phụng sự Thành Cát Tư Hãn, làm Bát Lân bộ tả thiên hộ. Ông nội là A Lạt, nối chức của cha, kiêm Đoán sự quan [1]; bình định Hốt Thiện có công, được nhận đất phong của ông ta. Cha là Hiểu Cổ Đài lại được nối chức, theo tông vương Húc Liệt Ngột khai phá Tây Vực. Mông Cổ bí sử có chép sự tích của ông cha Bá Nhan.

Bá Nhan trưởng thành ở Tây Vực. Năm Chí Nguyên thứ nhất (1264), Húc Liệt Ngột sai Bá Nhan về chầu, Nguyên Thế Tổ Hốt Tất Liệt thấy ông tướng mạo khôi vĩ, lời lẽ hùng tráng, bèn nói: “Đừng làm bề tôi của chư hầu vương nữa, ở lại làm việc cho trẫm.” Bá Nhan được đứng vào nhóm đình thần bên phải, dự bàn việc nước; Thế Tổ càng yêu mến, ban sắc lấy em gái của Trung thư hữu thừa tướng An Đồng gả cho ông, còn nói: “Làm vợ của Bá Nhan, đừng làm xấu mặt dòng họ nhà ngươi.”[2] Tháng 7 ÂL năm Chí Nguyên thứ hai (1265), được bái làm Quang lộc đại phu, Trung thư tả thừa tướng. Quan viên dưới quyền trình bày công việc, có gì khó khăn, Bá Nhan nói một hai lời là có thể quyết định. Mọi người khâm phục: “Đúng là bậc tể phụ.” Năm thứ 4 (1267), được đổi làm Trung thư hữu thừa. Năm thứ 7 (1270), được thăng Đồng tri xu mật viện sự. Mùa xuân năm thứ 10 (1273), cầm cờ tiết, trao ấn ngọc sách lập Yên vương Chân Kim làm hoàng thái tử.